Untuk rencana lanjut, sila lihat Umar bin al-Khattab

Semasa pemerintahan singkat Abu Bakar, Umar merupakan penasihat Abu Bakar. Abu Bakar mencalonkan Umar sebagai penggantinya sebelum kematiannya pada tahun 634 M. Dengan itu Umar menjadi khalifah kedua umat Islam.

Semasa pemerintah Umar, empayar Islam berkembang dengan pesat; menawan Mesopotamia dan sebahagian kawasan Parsi daripada Empayar Parsi (berjaya menamatkan Empayar Parsi), dan menawan Mesir, Palestin, Syria, Afrika Utara, dan Armenia daripada Byzantine (Rom Timur). Pada tahun 638, selepas pengempungan Baitulmuqaddis yang agak lama, tentera Islam berjaya menakluk kota tersebut.

Umar banyak melakukan perubahan terhadap sistem pemerintahan Islam, seperti menubuhkan pentadbiran baharu di kawasan yang baru ditakluk, memberi upah kepada tentera dan membuat jadual giliran bertugas, mewujudkan pejabat pos untuk surat menyurat, menyelaras aliran sungai untuk tujuan pertanian dan melantik panglima-panglima perang yang berkebolehan. Kota Basra dan Kufah juga dibina semasa pemerintahannya.

Umar wafat pada tahun 644 selepas dibunuh oleh seorang hamba Parsi yang bernama Abu Lu'lu'ah.